Portus Veneris cổ, được cho là đã tồn tại ít nhất từ giữa thế kỷ thứ nhất trước Công nguyên. Tên này có thể do một đền thờ nữ thần Venus ở mũi đất nhô ra biển - nơi ngày nay có nhà thờ thánh Phêrô tông đồ - hoặc cũng có thể có liên hệ tới tên vị thánh ẩn tu Saint Venerius. Trong thời Đế quốc La Mã, dân cư ở đây chủ yếu sống bằng nghề đánh bắt cá.

Sau khi Đế quốc Tây La Mã sụp đổ, Portovenere trở thành căn cứ của hạm đội Byzantine trong vùng bắc biển Tyrrhenian, nhưng bị các người Lombards (bộ tộc German Bắc Âu) tàn phá năm 643. Sau đó, Portovenere cũng là mục tiêu các cuộc tấn công thường xuyên của người Saracen (Hồi giáo). Một lâu pháo đài đầu tiên ở đây được xây từ năm 1113, và các tường thành được xây năm 1161. Portovenere trở thành thái ấp của 1 gia đình ở Vezzano, sau đó chuyển qua tỉnh Genova khoảng đầu thế kỷ thứ 12. Năm 1494, thành phố bị trận pháo kích của hạm đội Vương triều Aragon tàn phá trong cuộc chiến tranh với Genova, rồi phần thành phố cũ bị suy tàn nghiêm trọng, dẫn đến việc phát triển Borgo Nuovo ("Quận mới"), tập trung quanh nhà thờ thánh Phêrô.